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摘 要 : 针对 传统 超 分 辨 率 重建 方法 稀 朴 表示 依赖 大 训练 样本 字典 的 局 限 性 问题 ， 基 于 ] 范 数 的 弱 稀 路 性 特点 ， 提 出 
一 种 改进 的 单 幅 图 像 自 学 习 超 分 辨 率 重 建 方法 。 首 先 ， 通 过 自学 习 建立 非 金字 塔 阶梯 式 训练 图 像 集 ; 然后 ， 采 用 自 定 
义 的 方法 分 别提 取 训 练 集中 低 分 辨 率 和 相应 高 分 辨 率 图 像 特 征 块 及 特征 像素 值 ; 最 后 ， 结 合 / 范 数 的 协作 表示 
(collaborative representation，CR) 理论 和 支持 向 量 回 归 (support vectorregression，SVR) 技 术 学 习 多 层 超 分 辨 率 映射 模 
型 。 实 验 结果 表明 ， 提 出 的 超 分 辨 率 方 法 不 仅 可 行 有 效 ， 而 且 与 传统 的 单 幅 图 像 的 超 分 辨 率 方 法 比较 ， 其 PSNR 平均 
提高 了 0.06~3.92 dB，SSIM 平均 提高 了 0.002 4~0.0348。 从 客观 数值 和 主观 视觉 证 明了 所 提 方 法 的 优秀 性 。 
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roved super-resolution reconstruction method for self-learning of single image 


Wang Xiaoming*°, Huang Feng’i, Liu Shaopeng’, Xu Taoa 
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Abstract: Aiming at the limitation of sparse representation depended on large training sample dictionaries for traditional super- 


resolution reconstruction method, this paper proposed an improved super-resolution reconstruction method for self-learning of 


single image based on the characteristic of /> norm's weak sparsity. Firstly, it used self-learning to established the non pyramid 


stepped training images; then, it used the custom method to extract feature blocks and feature pixel values of corresponding LR 


and HR images; finally, combined with the collaborative representation (CR) theory of 2 norm and support Vector regression 


(SVR) technology, it established mapping model of the super-resolution. Experimental results show that the proposed super- 


resolution met 
for 0.002 4~0 


subjective visi 


hod is not only feasible and effective, but also the average PSNR increases for 0.06~3.92 dB and SSIM increases 
.034 8 compared with other conventional super-resolution approaches of single image. From the objective and 


on, it is proved that the proposed method is excellent. 


Key words: super-resolution of single image; /2 norm; collaborative representation (CR); support vector regression (SVR) 


0 ”引言 究 基 于 学 习 的 单 幅 图 像 超 分 辨 率 问题 。 
基于 学 习 的 单 幅 超 分 辨 率 技术 是 图 像 超 分 辨 率 算法 研究 的 
近年 来 ， 计 算 机 视觉 和 图 像 处 理 领 域 得 到 了 广泛 的 关注 ， 一 个 重大 突破 。 它 主要 通过 机 器 学 习 方法 学 习 的 LR 图 像 与 HR 
其 中 数字 图 像 的 超 分 辨 率 重 建 问 题 一 直 是 研究 热点 。 图 像 超 分 。 图 像 映 射 关系 预测 测试 图 像 丢 失 的 高 频 细节 信息 ， 重 建 SR 


辩 率 (super resolution，SR) 重建 是 指 从 一 幅 低 分 辨 率 (low 像 。 目 前 ， 基 于 学 习 的 单 幅 图 像 超 分 辩 率 技术 在 建立 HR 和 LR 
区 


resolution，LR) 图 像 或 多 幅 LR 图 像 中 恢复 出 高 分 辩 率 (high 


resolution, HR) 图 像 


妈 像 关系 时 主要 有 以 下 几 种 :ga 通过 宛 余 字典 建立 HR 和 LR 
2 的 过 程 。 根 据 图 像 的 输入 /输出 情况 ， 超 像 块 特征 的 投影 矩阵 B-9; b) 通 过 回归 模型 建立 LR 图 像 块 与 相 


加 


| 


CE 


分 辩 率 问题 可 分 为 


其 于 重建 的 超 分 辨 率 问题 、 视 频 超 分 辨 率 问 应 HR 图 像 像素 值 之 间 的 函数 关系 5679， 包 括 支 持 向 量 回归 


题 和 单 


Da 


像 超 分 辨 率 问题 ， 根 据 有 无 训练 样本 ， 单 幅 图 像 超 (support vector regression, SVR ) 模 型 、 固 定 邻 域 世 


归 (anchored 
分 辨 紊 问题 ， 可 以 分 为 没有 训练 样本 的 增强 边缘 的 单 幅 图 像 超 neighborhood regression, ANR ) 模 型 和 岭 回 归 (ridge regression， 


分 辩 和 有 训练 样本 的 基于 学 习 的 单 幅 


呈 


像 超 分 辩 率 中。 本 文 研 。 RR) 模型 等。 
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录用 稿 


2008 年 , Yang 等 人 首次 从 压缩 感知 的 角度 提出 基于 稀 玉 C 
表达 (sparse representation ) 建立 LR 和 HR 图 像 的 投影 矩阵 的 
超 分 辨 率 方法 ; 2009 年 ，Yang 等 人 外 对 之 前 的 超 分 辩 率 研究 工 
作 作出 改进 ， 提 出 LR 图 像 字典 和 HR 图 像 字典 的 双 字典 的 稀 
疏 表 达 超 分 辨 率 方法 。2013 年 ，Yang 等 人 中 结合 稀疏 表达 和 
SVR， 提 出 了 单 幅 图 像 自 学 习 的 超 分 辨 紊 方法 (self-learning 
approach to single image super-resolution，SLSR )。 该 方法 前 期 
利用 稀疏 表达 理论 和 元 余 字 典 稀疏 化 训练 图 像 集 的 特征 ， 得 到 
图 像 特征 的 稀疏 系数 ; 后 期 基于 稀疏 系数 , 利用 SVR 理论 建立 
LR 与 HR 图 像 之 间 像 素 的 回归 映射 模型 , 实现 图 像 的 超 分 辨 率 
重建 。 该 实验 结果 证 明 结合 稀疏 表达 和 SVR 的 SLSR 方法 较 
Yang 等 人 6 9 借助 外 部 图 像 数据 库 的 稀疏 表达 超 分 辩 率 方法 效 
果 更 好 。 然 而 这 些 基 于 稀 玻 表示 的 超 分 辩 率 重建 方法 表明 ， 重 
建 超 分 辨 率 图 像 的 关键 在 于 表示 图 像 特征 的 系数 必须 足够 稀 玻 ， 
而 系数 的 强 稀 疏 性 取决 于 构建 的 元 余 字 典 。 
随 着 范 数 的 发 展 ， 为 了 提高 范 数 最 小 化 的 计算 速度 ，2011 
E，Zhang 等 人 no 发 表 关 于 / 和 1 范 数 的 稀疏 表达 及 范 数 的 
协作 表达 (collaborative representation, CR ) 的 论文 ， 集 中 冰 述 
了 稀 玻 表示 分 类 的 理论 机 制 ， 并 在 文中 证 明 : 在 分 类 中 ， 
数 的 稀 玻 度 并 不 是 提高 分 类 效果 的 关键 ， 信 号 和 编码 字典 之 间 
的 协作 性 才 是 分 类 的 关键 。 本 文 最 后 给 出 , 基于 范 数 的 CR 不 
仅 提高 分 类 精确 度 ， 而 且 提 高 了 分 类 效率 ， 降 低 了 数据 计算 的 
复杂 度 。 随 后 ，Tian 等 人 中 在 CR 理论 的 发 展 上 提出 了 基于 固 
定 邻 域 回 归 的 单 幅 图 像 自学 习 样 本 的 超 分 辩 率 算法 〈anchored 
neighborhood regression based single image super-resolution from 
self-examples, ANRSR) ， 并 证 明 该 算法 比 基 于 稀疏 表达 的 超 分 
辩 率 方法 更 有 效 ; 同时 , Zhang 等 人 [9 利用 外 部 图 像 库 提出 了 基 
于 聚 类 和 CR 结合 的 快速 单 幅 图 像 超 分 辨 率 算 法 (clustering and 
collaborative representation for fast single image super-resolution, 
CCRSR) 。 

针对 基于 稀疏 表示 的 超 分 辨 率 重 建 方法 中 图 像 特 征 的 强 稀 
玻 性 系数 依赖 元 余 字 典 的 问题 E “1， 利 用 忆 范 数 的 CR 可 蔡 代 
稀疏 表示 的 弱 稀 玻 性 的 特点 50， 提出 一 种 基于 CR 的 改进 超 分 
辩 率 方法 。 首 先 ， 利 用 图 像 退 化 模型 ， 通 过 自学 习 的 方法 对 输 
入 的 原始 图 像 建 立 多 个 LR 图 像 ， 并 逐一 对 LR 图 像 集 插 值 放 
HR 和 LR 图 像 的 同 斥 寸 图 像 集合 ; 


pn 


1 范 


大 ， 形成 司 时 然后 ， 提 
取 LR 图 像 的 特征 和 HR 图 像 对 应 的 像素 值 ， 并 用 CR 理论 对 
LR 图 像 的 特征 弱 稀 疏 化 , 保留 图 像 全 部 特征 ， 最 后 ， 基 于 LR 


图 像 特 征 的 协作 系数 和 HR 图 像 的 像素 值 ， 建 立 SR 图 像 的 多 
个 重建 映射 模型 和 误差 模型 ， 根 据 最 小 误差 选择 最 优 重建 模型 
的 超 分 辨 率 像 素 值 , 实现 单 幅 图 像 的 超 分 辨 率 重 建 。 


1 ”相关 工作 


车 于 学 习 的 单 幅 图 像 超 分 辩 率 方法 在 学 习 LR 和 HR 图 像 
的 关系 模型 时 , 一 般 有 两 种 图 像 训 练 集 : 一 是 以 输入 图 像 为 原型 ， 
通过 图 像 退化 模型 自学 习 图 像 训练 集 二 是 直接 从 输入 图 像 以 
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外 收集 大 量 的 图 像 作为 图 像 训练 集 。 

设 图 像 的 一 般 退 化 模型 为 

Li = SBlio +n (1) 

其 中 : 7 ,是 LR 图 像 ， ,是 HR 图 像 ，s 代表 下 采样 过 程 ; 
B 代表 模糊 过 程 (高 斯 模糊 、 运 动 模糊 等 ) ;，n 代表 噪声 (高 
斯 噪声 、 株 盐 噪 声 等 ) 。 超 分 辨 率 重 建 的 过 程 即 是 退化 模型 的 
逆 过 程 。 
1.1 7 范 数 和 7 范 数 的 稀疏 表示 理论 

设 某 像 信 号 X 三 [DER ， 子 
D=[4d,d,,…,di]eR”， 则 基于 7 范 数 的 稀疏 表示 模型 ; 


argmin {lx-D.ak+4lel,) O) 


其 中 : 4 为 模型 的 正则 化 参数 。 通 过 求解 式 (2) 返回 图 像 信 号 
二 在 字典 万 上 的 一 个 近似 解 w ， 且 w, 是 由 多 个 零 元 素 组 成 的 
稀 玻 向 量 。 设 和 矩阵 A=[aw,oaw]， 则 Ac<Rem。 

于 式 (2) 在 求解 过 程 中 是 一 个 非 确定 多 项 式 难题 Cnon- 
deterministic polynomial hard，NPH)，Efron 等 人 0 对 六 范 数 的 
稀 玻 表示 作 了 改进 ， 提 出 范 数 的 稀疏 表示 模型 : 


argmin {lx-D-alb+4lal} G) 


该 模型 具有 更 好 优化 求解 的 特性 ， 同 时 能 通过 获得 的 稀 玻 
系数 A 恢 复 图 像 信号 x 。 
1.2 2 范 数 的 协作 表示 理论 

鉴于 稀疏 表示 中 / 和 1 范 数 计算 耗 时 等 问题 00，Zhang 等 
人 提出 结合 最 小 二 乘 和 忆 范 数 的 协作 表示 方法 。 其 复杂 度 低 于 
稀 玻 表示 ， 计 算 速度 高 于 稀 疏 表示 。 

设 测 试图 像 数据 为 x ， 字 典 样本 为 D， 增 加 范 数 的 稀 玻 
约束 ， 则 协作 表示 的 问题 模型 为 


argmin {lx-D.alb+4lal:} (4) 


沙 


其 中 : | 时 表示 六 范 数 ，4 为 模型 的 惩罚 参数 ， 则 在 平衡 最 


\ 


小 二 乘 和 w 的 4 范 数 之 间 的 关系 ， 保 证 最 小 二 乘 解 的 稳定 性 ， 
同时 为 系数 引入 一 定数 量 的 稀 疏 度 ， 提 高 运算 速度 。 
1.3 ”基于 线性 核 的 支持 向 量 回归 理论 

SVR 是 在 支持 向 量 机 (support vector machine, SVM) 的 基础 
上 被 提出 的 。 它 的 目标 是 寻找 最 优 回归 函数 y=(@w,x)+b， 
w eR"”，be 及 ，《,") 表 示 在 空间 Rw 的 内 积 。 最 优 回归 函数 对 
应 于 空间 RnxR 上 的 一 个 超 平 面 。 设 训练 集 
{6 总; 六) (sy 站 己 恨 ”x 恨 ， 则 SVR 对 应 的 原始 优化 


问题 为 


. 1 n 人 
min ol 十 DAG 十 它 ) 
i=1 


(@,X)+b—y, Set+é,i=1,2,.…,n 
(@,X)—b<ete,i=1,2,.…,n (5) 
GE, >0,i=1,2,.…,n 
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其 中 : w 是 非 线 性 映射 函数 法 线 矢量 ; c 是 惩罚 参数 ,有 是。、0; 量 条 件 。 


2.2 ”图像 特征 提取 及 17, 范 数 协作 表达 

根据 2.1 节 单 幅 图 像 的 自学 习 过 程 , 本 文 超 分 辨 率 重建 
松弛 变量 。 的 关键 在 于 学 习 同 尺寸 图 像 集 jy 中 相 邻 LR 图 像 和 HR 图 像 的 
最 优 关系 模型 。 由 图 1 可 知 , 虽然 图 像 [7 、7,、 了 7 的 尺寸 相同 ， 
但 其 是 由 越 接近 真实 图 像 的 LR 图 像 插值 而 来 清晰 度 不 一 样 ， 
拉 格 朗 日 算 子 B 、 1 ， 采 用 Lagrange 法 把 原始 问题 转化 为 对 故 学 习 这 些 同 尺寸 图 像 之 间 的 多 个 关系 ， 用 具有 最 小 误差 的 关 


4b 是 回归 偏 移 量 ; s 是 不 敏感 函数 ;，e 是 训练 误差 上 (下 ) 限 ， 


令 线性 核 玉 (xz )= xzx ， 为 解决 优化 问题 式 (5)， 引 进 


偶 优化 问题 求解 ， 系 模型 重建 1, 的 超 分 状 率 图 像 [,，。 
me | ;>(B-B)(B,-B)K(ss) 人 
多 
-rat -0 et 
四 加 
n A 采 糊 
a (0) ， 
B.p el0.d] | 一 上 一 
最 后 得 到 基于 线性 核 的 SVR 函数 : I i 
Se 五 清 | 
f(x)=>(B-PB)K(x,x)+b (7) 听 ' | 
全 度 | BI 放大 1 ' 
i 
2 ”基于 同 尺寸 图 像 的 7 范 数 的 超 分 辨 率 方 法 i | 
' 升 
研究 单 幅 图 像 的 超 分 辩 率 重建 问题 ， 关 键 在 于 学 习 LR 图 站 i | 古 ， 
像 和 HR 图 像 之 间 的 关系 。 考 虑 图 像 的 差异 性 ， 本 文采 用 自学 i | 
习 的 方法 学 习 每 幅 图 像 的 训练 图 像 集 。 相 比 文献 [5,7,9] 提 出 的 ' | ' 

EE 到 欣 2s 吉方 汗 要 中 建立 后 十 区 二 ee 
金字 塔 阶梯 式 图 像 集 的 自学 习 方 法 ， 本 文 提出 建立 同 尺寸 图 像 me a 
集 的 自学 习 方 法 。 像 集 M 
2.1 自学 习 同 尺寸 图 像 集 图 1 单 幅 图 像 自学 习 同 尺寸 多 分 辨 率 图 像 过 程 


设 输入 高 清原 始 图 像 为 7 ， 模 拟 图 像 的 退化 过 程 得 到 训练 2.2.1 特征 提取 
单 幅 图 像 超 分 辩 率 方法 的 图 像 集 。 首 先 通 过 模型 式 〈1)， 对 图 
像 了 用 自 定 义 的 高 斯 模糊 函数 进行 模糊 ， 然 后 以 z 的 倍率 下 采 
样 图 像 ， 最 后 对 经 过 高 斯 模糊 和 下 采样 的 图 像 加 入 40 dB 信 品 
比 的 高 斯 白 噪声 得 到 待 超 分 辨 率 重 建 的 LR 图 像 7， 。 
随后 ， 对 图 像 1 以 同样 的 高 斯 模糊 函数 及 下 采样 倍率 建 ”长 为 1 的 p 大 小 滑动 窗口 提取 LR 图 像 1; 的 图 像 块 集合 
立 LR 图 像 金字 塔 。 利 用 双 三 次 插值 (bicubic interpolation, BT) 
的 方法 将 低 分 辩 率 的 图 像 金 字 塔 放大 至 原始 图 像 7 的 尺寸 ， 得 
到 具有 超 分 辩 率 图 像 尺寸 , 但 清晰 度 依次 降低 的 训练 图 像 集 
M = 人 六 ， 其 中 图 像 碾 的 清晰 度 高 于 大，， 分 别 适 时 地 
定义 为 HR 和 LR 图 像 。 图 1 描述 了 自学 习 同 尺寸 图 像 集 的 大 的 回归 模型 ， 借 鉴 文献 [13]， 对 每 一 个 x 点 乘 p 大 小 的 权重 分 
致 流程 。 图 像 集 jy 的 大 小 由 LR 图 像 金字 塔 的 层 数 决定 , 金字 ” 配 和 矩阵 G ， 使 得 X 的 中 心 取 得 更 大 的 权重 值 。 更 新 LR 特征 集 
塔 的 层 数 主要 由 下 采样 倍率 及 图 像 分 块 大 小 决定 。 
观察 图 1 描述 的 多 分 辨 率 训练 图 像 集合 的 全 局 展示 图 ， 易 | 
知道 这 些 图 像 集 满足 分 辨 率 逐 渐 递 进 的 规律 。 超 分 辨 率 重建 古 2.2.2 1 ee 
的 目的 是 在 放大 图 像 时 提高 图 像 分 辩 率 , 增加 图 像 的 清晰 度 。 于 特征 x 通过 7 范 数 稀 疏 表达 得 到 的 系数 g 大 部 分 等 
根据 构建 的 图 像 集 满足 分 辩 率 逐渐 递 进 的 规律 ， 本 文 只 需 找 出 “于 0, 主动 忽略 了 提取 到 的 部 分 图 像 特征 , 在 后 期 LR 和 HR 图 
相 邻 图 像 7 和 了 ,之 间 的 关系 模型 ， 从 多 个 关系 模型 中 选择 最 。 像 的 映射 模型 中 容易 产生 误差 。 而 x 通过 7 范 数 协作 表达 求解 
优 模 型 重建 超 分 辨 图 像 7 即 可 , 有 旦 分 辨 率 逐 渐 提 高 的 图 像 I 和  ” 到 的 系数 & 趋 近 于 0 但 不 等 于 0， 保留 了 图 像 全 部 特征 。 本 文 
7 满足 本 文 后 期 重建 超 分 辨 率 图 像 映 射 模型 的 自 变量 和 因 变 车 于 文献 [10] 中 关于 1 范 数 的 稀疏 表达 和 忆 范 数 的 协作 表达 的 


设 图 像 块 大 小 为 p， {a ={7,D,…,T 1} 是 训练 的 HR 


图 像 集 ，{ 攻 ”={,,…,1y} 是 对 应 的 LR 图 像 集 ， 分 别 以 步 


{xX} eR? 和 对 应 HR 图 像 1; 的 图 像 块 的 中 心 像素 值 集合 


人 gj” < 及。 考虑 本 文 的 重建 模型 是 LR 图 像 块 和 HR 的 像素 值 


汪 


Xi} ， 得 到 重建 超 分 辨 率 图 像 的 学 习 模型 训练 集 {X,yj > 。 


1 
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人 脸 分 类 时 效 和 准 乘法 协 


确 率 实验 ， 提 出 结合 范 数 和 最 小 二 


作 表达 {x 0 的 方法 ， 既 提高 LR 和 HR 图 像 映射 模型 的 准确 


率 ， 又 降低 系数 化 图 像 特征 过 程 的 计算 复杂 度 。 
对 每 一 幅 LR 图 像 1 (j=1,2,…,N -1) 提取 的 特征 


浪 


{Xi 的 每 一 块 逢 阵列 向 量化 ， 则 [xy eR”。 令 


Xi ={X}”， 其 协作 表示 系数 4， 则 


min | X — DA + (8) 


其 中 ;局 由 数据 矩阵 X 的 特 和 
式 (8)， 利 用 正则 化 的 最 小 二 
DD 上 的 近似 解 : 


E 值 及 特征 向 量 决定 。 为 解决 问题 
乘法 求解 协作 系数 ， 得 到 X 在 字 


4=(D7D + 人 D X GO) 


王晓明 ， 等 : 


ChinaXiv 合 作 基 
改进 的 单 幅 图 学 5 辨认 


fa 2 根据 位 置 的 奇偶 性 二 分 为 训练 集 Tr={a J Ba 和 测 
9 Vn i=l 1 0 


豆 
no 
A 


Te={ay 7 ， 其 中 训练 集 方 用 于 构建 重 


建 映 射 模型 大 ， 


测试 集 7e 用 于 构建 误差 模型 严 。 


对 训练 集 放 利用 式 〈5) 建立 LR 图 像 特征 
的 像素 值 y, 的 线性 


a 与 HR 图 像 
E 到 相应 的 


核 SVR 模型 ， 解 得 LR 图 像 特 和 


HR 图 像 空间 的 映射 模型 ; 


其 中 : 
b,=y,-2(p 


2.3.2 误差 模型 


萌 鉴 Yang 等 


F(a)= (8-PK(aa) +b, 


K(a;a) 表示 a, 和 a 之 间 的 线性 核 函 数 ; 


-PB )K(a,a 
HR 图 像 的 映射 模型 (j=1,2,… 


))) 8。 类 似 地 ， 建 立 每 一 组 LR 和 


,六 -1)。 


等 人 口 提 


出 的 SLSR 方法 同时 建立 误差 模型 5， 


: / 是 单位 矩阵 。 最 后 重 


建 超 分 辩 率 图 像 的 映射 模型 训练 


集 更 新 为 fa,yj8 ，ae Re 。 如 此 反复 , 构建 多 个 映射 模型 的 


数据 得 集 T, = {aj,y/ eo | 
2.3 ”起 分辨 率 重建 模型 

文献 [3~6] 中 ，Yang、Tian 及 Zhang 等 人 均 提 出 用 自 定义 的 
四 个 方向 的 高 通 滤波 算 子 提取 LR 图 像 的 图 像 特 征 块 ， 最 后 借 
助 7 范 数 的 稀 朴 表达 或 2 范 数 的 协作 表达 建立 LR 和 HR 图 像 
块 特征 的 超 分 辩 率 重建 模型 。 本 文 将 使 用 基于 线性 核 的 SVR 重 
建 LR 图 像 特征 到 相应 的 HR 图 像 空间 的 映射 模型 ， 重 建 超 分 
辨 率 图 像 了 。 
2.3.1 重建 映射 模型 

输入 图 像 通过 自学 习 同 尺寸 图 像 训练 集 、LR 和 HR 图 像 
特征 提取 及 LR 图 像 特征 7 范 数 的 协作 表达 ， 得 到 映射 模型 训 


1。 随 后 对 每 一 组 数据 外 


uy 


练 集 7 ={a,y A 


素 值 。 


对 每 一 组 训练 集 对 应 的 测试 集 数据 Te ， 
映射 模型 式 (10) 恢 复 测试 数据 a 对 应 的 HR 图 像 的 像素 值 ， 


通过 误差 选择 最 小 误差 对 应 的 重建 模型 的 多 


作为 HR 图 像 的 像 


2.3.1 节 重 建 的 


然后 利用 SVR 理论 对 far,e jw 建立 LR 图 像 特征 到 相应 的 HR 
图 像 空 间 的 误差 模 型 ， 其 中 
e=|», —y|—min(|y, = y,])/ (max (| — 34)) — min(|%, — »))) : 
Eo)= Fh-B (on) +h, (11) 
b,=e-》(B- 户 )K(q,,a;)-e。 类 似 地 建立 每 一 组 LR 和 
HR 图 像 的 误差 映射 模型 E，( j=1,2,.…,N -1)。 


最 后 根据 LR 图 像 特征 集 


hn 


建立 的 误差 模型 ， 选 择 最 小 误差 


对 应 的 重建 映射 模型 的 》 作为 HR 图 像 的 像素 值 。 图 2 显示 ] 


本 文 提 出 的 重建 超 分 辨 率 图 像 模型 的 大 致 流程 。 


i a 人 pp 上 > 
同 尺寸 多 分 辩 率 | 特征 提取 中 特征 训练 集 。 | 特征 块 八 | ”更 新 训练 集 /2 范 数 人 | ”模型 训练 集 。 |， 模型 建立 N | ”重建 模型 玉 
训练 集 w : 人 中 ” a 误差 模型 忆 
是 / E22 A 列 ， 9 六 协作 表达 to J 
图 2 ”本文 重 建 超 分 状 率 图 像 模型 的 大 致 流程 
法 、Wang 等 人 05] 提 出 的 基于 稀 玻 编码 和 级 联网 络 的 CSCN 方 


3 ”实验 


本 文 的 实验 图 像 均 从 南 加 州 大 学 (University of Southern 
California,USC) 图 像 数 据 库 04 下 载 。 实 验 平台 为 处 理 器 Intel@ 
Core(TM) 13-4130 CPU @3.40 GHz 的 64 位 Windows 7 旗舰 版 ， 
MATLAB R2015a。 

3.1 实验 及 部 分 参数 设置 

为 验证 本 文 所 提 超 分 辩 率 方法 的 公正 性 ， 本 文 将 其 他 传统 

的 超 分 辩 率 方法 (Yang 等 人 四 SCSR 方法 、Yang 等 人 [JSLSR 方 


法 、Tian 等 人 DIANRSR 方法 及 Zhang 等 人 [SCCRSR 方法 ， 相 


关 代码 均 可 在 作者 主页 下 载 ) 中 待 超 分 


) 辨 紊 重建 的 LR 图 像 1 


的 预 处 理 方式 均 设置 成 本 文 的 方法 。 

E 本 文 所 提 超 分 辨 率 方法 的 有 效 性 ， 
到 的 超 分 辩 率 图 像 1 与 其 他 传统 的 超 分 辨 率 方法 重 
7 作 比较 。 用 图 像 评价 中 最 党 


为 验证 


signal to noise ratio, PSNR ) 和 


本 文 将 此 方法 得 
建 的 图 像 
峰值 信 品 比 (peak 


的 指标 : 
结构 相似 性 (structure similarity 


image measure, SSIM ) 作为 超 分 辨 率 图 像 质量 的 客观 评价 标准 。 
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实验 的 多 类 型 图 像 ( 图 3) 均 来 自 图 像 库 (9,。 若 图 像 为 RGB 
彩色 空间 , 根据 人 眼 对 亮度 差异 的 高 度 敏感 特性 ， 首先 将 RGB 
彩色 空间 图 像 转换 为 YCbCr 彩色 空间 图 像 ， 然 后 选取 Y 分 量 
上 的 亮度 图 像 信号 应 用 超 分 辩 率 方法 ,其 他 色 度 分 量 (Cb 和 Cr) 
均 做 BI 的 超 分 辩 率 方法 。 
实验 过 程 中 , 设置 下 采样 倍率 - 2, 高 斯 模糊 方差 c =0.1， 
图 像 集 jy 的 大 小 V=5 ， 图 像 块 p=[5,5] ， 其 中 相 邻 图 像 块 间 
的 重合 像素 点 数 为 4。 了 范 数 的 协作 表达 中 数据 特征 向 量 维度 
玉 =100，SVR 重建 映射 模型 参数 通过 LIBSVM0353 工 具 箱 的 


gridregressionpy 函数 训练 数据 fo,yj” 得 到 ， 取 c=4、 


es=001 的 es-SVR 为 严 模 型 参数 ， 误 差 模型 已 的 参数 选取 
v 一 SVR 的 默认 值 c=1、v= 0.5。LR 图 像 的 权重 分 配 矩 阵 G 以 | 
图 像 块 p 大 小 的 高 斯 函数 设置 。 (5.1.12[256x256] (1)5.1.13[256x256] 
图 312 幅 实验 图 像 ([*X* 表 示 图 像 尺 寸 ]) 

3.2 正则 化 参数 4 对 实验 结果 的 影响 
由 于 参数 1 的 取 值 影响 着 LR 图 像 特征 块 的 近似 系数 ， 本 
文 将 对 4 的 取 值 做 如 下 探讨 : 

取 Ae[5e-7,5] ， 对 同一 组 图 像 数 据 〈 图 3(a)4.1.01) 进行 多 
次 超 分 状 率 重建 ， 测 试 4 对 重建 的 超 分 辩 率 图 像 的 质量 评价 指 
(a)4.1.01[256x256] (b)4.1.03[256x256] 标 PSNR 和 SSIM 的 影响 。 图 4、5 分 别 显示 了 不 同 的 4 取 值 对 
| 重建 超 分 辩 率 图 像 的 PSNR 和 SSIM 的 波动 。 


0 


(c)4.1.04[256x256] (d)4.1.05[256x256] 


9 YY © © © YY oY © ~» 4 
”0 HH © oo 0 
S $ ee ot Q 


4 


图 4 14 值 对 超 分 辩 率 重建 的 PSNR 值 波动 图 


5 
ES oS S$ RS [NS Q Q 
SS 9 


RS S 1 


(g)4.2.03[512x512] (h)4.2.05[512x512] 图 5 ”71 值 对 超 分 辨 率 重建 的 SSIM 值 波 动 图 
结合 图 4 和 5， 容易 观察 得 到 :; 当 4e[5e-7,0.1] 时 ，4 的 
取 值 对 重建 超 分 辩 率 图 像 的 PSNR 和 SSIM 指标 值 的 影响 较 小 ， 
可 忽略 不 计 ; 而 当 1>0.1 时 ， 重 建 的 超 分 辨 率 图 像 的 PSNR 和 
SSIM 指标 值 的 波动 范围 较 大 。 明 显 , 取 太 大 的 4 时 , 其 重建 的 


录用 稿 王晓明 ， 等 : 改进 的 单 幅 图 像 的 自学 习 


E | 


超 分 辩 率 图 像 的 视觉 效果 较 差 。 此 结论 ， 本 文 取 实验 参数 。” 验 图 像 的 LR 图 像 7, 进行 多 种 超 分 辨 率 方法 图 像 重建 , 并 分 别 
4=Se-4。 计算 它们 的 PSNR、SSIM 值得 到 表 1。 图 6 显示 了 部 分 实验 图 
3.3 ”实验 结果 与 分 析 像 的 重建 超 分 辨 率 图 像 。 


根据 3.1 节 实验 及 参数 设置 、3.2 节 1 值 的 探讨 ， 本 文 对 实 
表 1 多 种 方法 重建 超 分 辨 率 图 像 的 PSNR(dB) 和 SSIM 比较 


BI SCSRM SLSRD CSCNIU5 
图 像 
PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM 
4.1.01 29.81 0.9820 25.58 0.9583 31.73 0.9885 29.63 0.9445 
4.1.03 30.21 0.9656 27.41 0.9514 31.66 0.9722 29.87 0.9595 
4.1.04 29.19 0.9842 26.82 0.9829 30.94 0.9896 27.51 0.9730 
4.1.05 27.33 0.9733 25.24 0.9555 28.50 0.9786 28.96 0.9649 
4.1.06 23.34 0.9691 22.33 0.9504 24.52 0.9759 23.37 0.9563 
4.1.08 28.89 0.9846 24.59 0.9691 32.90 0.9938 30.31 0.9788 
4.2.03 20.46 0.8609 19.47 0.8872 23.42 0.9224 20.36 0.8282 
4.2.05 26.78 0.9730 25.96 0.9595 31.29 0.9896 26.76 0.9681 
5.1.10 23.11 0.9207 22.38 0.8955 24.45 0.9384 23.37 0.9088 
5.1.11 27.08 0.9540 26.27 0.9393 31.94 0.9792 27.40 0.9512 
可 5.1.12 26.19 0.9769 25.93 0.9677 26.37 0.9774 27.10 0.9737 
5.1.13 18.93 0.9022 19.38 0.8830 19.94 0.8827 21.36 0.8887 
平均 值 25.94 0.9539 24.28 0.9416 28.14 0.9657 26.33 0.9413 
ANRSRGI CCRSRI 本 文 方法 
PSNR SSIM PSNR SSIM PSNR SSIM 
4.1.01 28.58 0.9722 29.78 0.9574 32.29 0.9898 
4.1.03 29.48 0.9347 28.75 0.9348 33.63 0.9823 
mn 4.1.04 28.23 0.9795 29.19 0.9998 31.57 0.9907 
一 4.1.05 27.08 0.9621 27.73 0.9574 28.95 0.9818 
P< 4.1.06 22.92 0.9566 23.46 0.9992 24.55 0.9767 
4.1.08 27.93 0.9783 28.68 0.9898 34.07 0.9954 
> 4.2.03 19.88 0.7993 20.16 0.9998 21.54 0.8913 
4.2.05 26.62 0.9640 22.69 0.9057 28.99 0.9836 
5.1.10 22.18 0.8853 21.44 0.8926 25.26 0.9466 
5.1.11 26.30 0.9356 27.02 0.9460 28.33 0.9644 
5.1.12 26.05 0.9648 24.73 0.9676 28.33 0.9857 
5.1.13 20.87 0.8674 16.90 0.8830 20.90 0.9293 
平均 值 25.51 0.9333 25.04 0.9528 28.20 0.9681 


| 


比较 表 1 中 超 分 辨 率 重建 图 像 7 的 多 个 PSNR 和 SSIM 指 ”通过 SLSR 方法 重建 的 图 4.2.05 和 5.1.11 的 超 分 辨 率 图 像 ， 不 
标 值 ， 除 图 像 4.1.04、4.1.06、4.2.03、4.2.05、5.1.11 外 ， 其 他 仅 在 PSNR 指标 上 表现 最 高 ,而 且 也 在 SSIM 指标 上 表现 最 高 。 


7 幅 图 像 的 LR 图 像 1 在 通过 本 文 提 出 的 超 分 辨 率 方 法 重建 ” 分 析 其 可 能 的 原因 : 因为 图 4.2.05 和 5.1.11 的 图 像 特点 比较 单 
后 ,其 客观 数值 PSNR 和 SSIM 相 比 其 他 六 种 方法 均 表 现 最 优 。 一 和 统一 ， 而 Yang 等 人 提出 的 SLSR 方法 正好 在 提取 特征 时 ， 

观察 表 1 可 以 发 现 ，Zhang 等 人 提出 的 CCRSR 方法 虽然 。 仪 进行 了 图 像 的 一 个 轮廓 边缘 检测 ， 所 以 导致 它们 重建 的 超 分 
重建 图 像 的 PSNR 相对 较 小 ， 但 是 其 SSIM 却 比 其 他 方法 高 ， ” 辩 率 图 像 1 客观 指标 值 均 最 优 。Wang 等 人 提出 的 CSCN 方法 
更 接近 原始 HR 图 像 。 其 中 图 像 4.1.04、4.1.06、4.2.03 的 SSIM 虽然 在 重建 图 像 4.1.05 和 $.1.13 上 取得 了 最 优 的 PSNR， 但 是 


表现 更 为 突出 。 分 析 其 原因 ，CCRSR 方法 在 提取 LR 图 像 的 特 其 最 优 数值 分 别 仅 比 本 文 提 出 的 方法 高 0.01 和 0.46， 而 通过 
征 时 ， 采 取 了 四 个 方向 的 高 通 滤波 方式 ， 并 对 图 像 特 征 进行 文 方法 重建 的 图 4.1.05 和 5.1.13 的 SSIM 分 别 比 CSCN 方法 高 


聚 类 分 类 , 这 样 使 得 每 类 的 特征 保留 了 图 像 大 量 相似 的 结构 性 0.016 9 和 0.040 6， 证 明了 本 文 提 出 的 方法 比 基 于 稳 玻 编码 和 


十 


ES 


o 
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深度 网 络 的 超 分 辨 率 方法 更 优秀 。 


图 6 给 出 了 部 分 图 像 的 多 种 超 分 辨 率 结果 ， 从 视觉 主观 上 
进一步 证 明了 本 文 提出 方法 的 有 效 性 和 相对 最 优 性 。 观 察 图 
5.1.13 很 容易 发 现 ， 通 过 本 文 构建 的 超 分 辨 率 图 像 (f) 的 细节 
更 清晰 ， 旺 现 了 其 他 重建 图 像 不 具有 的 细节 信息 ， 如 图 像 最 右 


边 数 字 0 下面 的 1。 同 


率 方法 构建 的 图 像 更 高 。 
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(f) 的 分 辩 率 相对 其 他 五 种 超 分 辨 
图 4.1.08 和 4.2.03 虽然 大 体 图 像 一 样 ， 
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及 稀疏 系数 存在 容易 忽略 部 分 图 像 关 键 特 和 


同 尺 寸 图 像 训练 集 的 已 


小 ， 并 使 用 


上 其 重建 的 超 分 辨 率 图 
量 评价 分 数 。 从 主观 和 客观 角度 记 


范 数 协 


图 像 特征 的 局 限 性 ， 
FE 的 问题 
作 表 达 的 超 分 辨 率 重 建 方法 。 对 
多 个 同 尺 十 的 LR 图 像 提取 特征 块 ， 重 新 分 配 图 像 块 的 特征 大 
已 范 数 的 协作 表达 方式 蔡 代 稀 疏 表示 系数 化 LR 图 
像 的 特征 ， 建 立 包 含 图 像 全 部 特征 信 
图 像 的 线性 核 SVR 模型 。 实验 结 
他 基于 稀 玻 表达 、 协 作 表 达 及 SVR 的 超 分 辩 率 方法 相 比 , 总 体 
像 人 具有 更 好 的 视觉 效果 和 更 高 的 质 
E 明 了 本 文 方法 的 有 效 性 和 优 


， 提 出 基于 


息 的 更 高 效 的 LR 和 HR 
吉 果 表明 ,本文 提 


出 的 方法 与 其 


秀 性 。 由 于 本 文 提出 的 方法 在 特征 选择 这 一 块 比较 单一 ， 对 于 


图 像 内容 比 较 空 泛 和 统一 的 图 像 的 超 分 辩 率 重建 结果 不 是 很 理 
想 ， 未 来 将 进一步 改进 图 像 特征 的 提取 方式 ， 尽 可 能 多 地 提取 


和 保留 图 像 有 效 特征 ， 


型 。 
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